#Sparse Reward

3 篇

PIVOT: Progressive Intervention via Online Teacher Correction

PIVOT：通过在线教师纠正进行渐进式干预

🧭 强化学习训练 · 在线教师干预

University of Chinese Academy of Sciences · Tsinghua University · Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences

在RLVR中插入教师纠正轨迹并施加token级KL监督，大幅提升困难推理任务的学习效率与最终表现

📌 工作参考价值（4 点）

在电商/Agent多步决策任务中，RLVR常因稀疏奖励（最终是否成交、任务是否完成）而训练低效；可引入教师模型（如GPT-4/内部大模型）在失败轨迹上在线生成修正步骤，并把这些修正插入学生rollout，只对插入段做token级KL蒸馏，避免整条轨迹过度依赖教师导致不可学。
当一组rollout全部失败时，结果奖励无梯度；可借鉴PIVOT的双重信号：先通过轨迹级干预保证至少部分轨迹包含正确片段，再对教师段做密集token级监督，这适合电商智能客服、商品推荐对话等场景中“用户不满意”的负样本利用。
论文的消融表明，干预位置（如失败点附近）和KL监督范围（仅教师段vs全轨迹）对最终性能影响显著；在业务中可先小规模网格搜索这些超参数，避免教师信号过强导致学生退化为模仿教师，丧失RLVR的探索收益。
若已有线上强模型可作为教师，PIVOT的在线纠正成本可控，适合将弱模型（部署端）通过RLVR+教师干预进行蒸馏式增强，用于推荐解释生成、搜索query改写等轻量生成任务。

Training | 2026-10-29 | cs.CL | score 7/10

SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance

SAGE：通过拓扑引导缓解长程推理偏差

🧭 LLM 长程推理 · 拓扑结构引导

Virginia Tech · University of Wisconsin Madison · Dartmouth College

用代数稀疏化与双曲结构引导的SAGE框架，缓解长程推理的探索偏差与累积偏差，12基准7模型家族提升，AC问题8倍改善

📌 工作参考价值（4 点）

在Agent多步规划（如导购Bot多轮需求澄清、商品筛选）中，候选步骤常局部合理但全局不可行；可借鉴代数稀疏化，对每步算子做结构约束投影/过滤，只保留可采纳分支，压缩搜索宽度、减少跳转幻觉。
双曲结构引导可用到长流程状态表示：将多步决策的状态embedding从欧氏空间改为Poincaré/Lorentz双曲空间，能更自然编码层级与深度信息，为稀疏奖励过程提供稠密的深度连续信号。
稀疏奖励场景不要只依赖最终结果做RL；可显式建模“局部可采纳性”作为过程监督/辅助reward，比如在召回→粗排→精排的多级funnel中为每阶段定义可采纳条件，缓解累积偏差。
业务可借鉴点有限：SAGE偏符号/数学推理，开放域推荐对话中定义算子索引代数子空间成本较高，但结构先验与候选分层约束可直接用于受限Action空间的Agent决策。

Reasoning | 2026-09-24 | cs.AI | score 7/10

Long-Horizon Reasoning Sparse Reward Topological Guidance Hyperbolic Embedding Algebraic Sparsification LLM

HPO: Hysteretic Policy Optimization for Stable and Efficient Training under Sparse-Reward Regime

滞后策略优化（HPO）：稀疏奖励下稳定高效的GRPO训练改进

🧭 强化学习 · GRPO 优化 ★ 深度解读

Paris Research Center, Huawei Technologies · Huawei Technologies, China

通过非对称抑制负优势更新并改用均值长度归一化，缓解 GRPO 在稀疏奖励下的负优势主导与长度偏置，自适应权重免去手动调参

📌 工作参考价值（4 点）

在稀疏奖励（如早期 Agent 任务、低资源推荐对话）下，GRPO 会因大量失败样本的负优势更新主导训练，HPO 通过给负优势更新乘上小于 1 的权重来抑制负面信号，可简单集成到现有 GRPO/PPO 管线
用 batch 内平均长度替代逐响应长度归一化，消除“短正确回答权重过高、长错误回答惩罚不足”的长度偏置，更适合生成长度动态变化的推荐文案、多步 Agent 推理等场景
A-HPO 根据 batch 内正/负优势样本比例自动计算阻尼系数 α，无需针对不同任务或训练阶段手动调 ❧ 唯一超参数，便于快速在新业务场景落地
方法几乎无额外计算开销，只需统计正负优势数量并做一次裁剪，可作为 GRPO 训练的标准增强件，用于电商对话推荐、生成式推荐评估等 RLHF 微调流程

Training | 2026-05-28 | cs.LG | score 8/10

GRPO Hysteretic Learning Sparse Reward Policy Optimization LLM Fine-tuning